在多任务学习（MTL）以进行视觉场景理解的过程中，至关重要的是在多个任务之间传输有用的信息。在本文中，我们提出了一种新颖的体系结构，该架构通过将注意力机制应用于任务的多尺度特征，从而有效地传递信息特征。由于将注意模块直接应用于规模和任务的所有可能功能需要高复杂性，因此我们建议将注意模块顺序应用于任务和规模。首先应用交叉任务注意模块（CTAM），以促进相同尺度的多个任务特征之间的相关信息交换。然后，跨尺度注意模块（CSAM）在同一任务中不同分辨率的特征图中汇总了有用的信息。此外，我们尝试通过特征提取网络中的自我发项式模块捕获长距离依赖性。广泛的实验表明，我们的方法在NYUD-V2和Pascal-Context数据集上实现了最先进的性能。
translated by 谷歌翻译
在线立体声适应解决了由合成（训练）和真实（测试）数据集之间的不同环境引起的域移位问题，以迅速适应动态现实世界应用程序（例如自动驾驶）中的立体声模型。但是，以前的方法通常无法抵消与动态物体有关的特定区域，并具有更严重的环境变化。为了减轻此问题，我们建议将辅助点选择性网络纳入称为PointFix的元学习框架中，以提供对在线立体声适应的立体声模型的强大初始化。简而言之，我们的辅助网络学会通过通过元级别有效地反向传播局部信息来固定局部变体，从而实现基线模型的稳健初始化。该网络是模型 - 不合时宜的，因此可以以任何插件的方式以任何形式的架构使用。我们进行了广泛的实验，以在三个适应设置（例如短期，中和长期序列）下验证我们的方法的有效性。实验结果表明，辅助网络对基本立体声模型的适当初始化使我们的学习范式在推理时达到了最新的性能。
translated by 谷歌翻译
We aim to bridge the gap between our common-sense few-sample human learning and large-data machine learning. We derive a theory of human-like few-shot learning from von-Neuman-Landauer's principle. modelling human learning is difficult as how people learn varies from one to another. Under commonly accepted definitions, we prove that all human or animal few-shot learning, and major models including Free Energy Principle and Bayesian Program Learning that model such learning, approximate our theory, under Church-Turing thesis. We find that deep generative model like variational autoencoder (VAE) can be used to approximate our theory and perform significantly better than baseline models including deep neural networks, for image recognition, low resource language processing, and character recognition.
translated by 谷歌翻译
分散数据的数值插值旨在根据某些观察到的点估算目标点的值。传统方法通过构建结合多个基础函数的插值函数来产生估计。这些方法要求明确定义基础功能，从而在实际情况下极大地限制了其应用。最近的进步表现出一种替代策略，该策略可以直接使用机器学习技术（例如深度神经网络）从观察到的点学习插值功能。该策略虽然很有希望，但不能有效利用观察到的点和目标点之间的相关性，因为它可以分别处理这些类型的点。在这里，我们提出了一种基于学习的方法，使用变压器的编码器表示（因此称为NIERT）。 Niert将每个目标点的值视为蒙版令牌，它可以以统一的方式处理目标点并观察到点。通过计算目标点和观察点之间的部分自我注意，NIERT获得了利用这些点之间相关性的优势，更重要的是，避免了目标点在观察到的点上意外干扰。 NIERT还使用预训练技术进一步提高其准确性。在三个代表性数据集上，包括两个合成数据集和一个现实世界数据集，Niert优于现有方法，例如，在用于温度字段重建的TFRD-ADLET数据集上，Niert达到了$ 1.897 \ times 10^{ - 3} $ $ 1.897 ，比基于变压器的方法要好得多（MAE：$ 27.074 \ times 10^{ - 3} $）。这些结果清楚地表明了NIERT的准确性及其在多个实际领域中应用的潜力。
translated by 谷歌翻译
社会科学的学术文献是记录人类文明并研究人类社会问题的文献。随着这种文献的大规模增长，快速找到有关相关问题的现有研究的方法已成为对研究人员的紧迫需求。先前的研究，例如SCIBERT，已经表明，使用特定领域的文本进行预训练可以改善这些领域中自然语言处理任务的性能。但是，没有针对社会科学的预训练的语言模型，因此本文提出了关于社会科学引文指数（SSCI）期刊上许多摘要的预培训模型。这些模型可在GitHub（https://github.com/s-t-full-text-knowledge-mining/ssci-bert）上获得，在学科分类和带有社会科学文学的抽象结构 - 功能识别任务方面表现出色。
translated by 谷歌翻译
随着电子商务行业的爆炸性增长，检测现实世界应用中的在线交易欺诈对电子商务平台的发展越来越重要。用户的顺序行为历史提供有用的信息，以区分从常规支付的欺诈性付款。最近，已经提出了一些方法来解决基于序列的欺诈检测问题。然而，这些方法通常遭受两个问题：预测结果难以解释，并且对行为的内部信息的利用不足。为了解决上述两个问题，我们提出了一个分层可解释的网络（母鸡）来模拟用户的行为序列，这不仅可以提高欺诈检测的性能，还可以使推理过程解释。同时，随着电子商务业务扩展到新域名，例如新的国家或新市场，在欺诈检测系统中建模用户行为的一个主要问题是数据收集的限制，例如，非常少的数据/标签。因此，在本文中，我们进一步提出了一种转移框架来解决跨域欺诈检测问题，其旨在从现有域（源域）的知识传输足够的域（源域），以提高新域中的性能（目标域）。我们所提出的方法是一般的转移框架，不仅可以应用于母鸡而且可以在嵌入和MLP范例中应用各种现有模型。基于90个转移任务实验，我们还表明，我们的转移框架不仅可以促进母鸡的跨域欺诈检测任务，而且对于各种现有模型也是普遍的和可扩展的。
translated by 谷歌翻译
近年来见证了基于地点的社交网络（LBSN）服务的日益普及，这为构建个性化的兴趣点（POI）推荐系统提供了无与伦比的机会。现有的POI推荐和位置预测任务利用过去的信息来从单个方向角度使用过去的推荐或预测，而缺少的POI类别识别任务需要在缺少类别之前和之后使用检查信息。因此，长期存在的挑战是如何在移动用户的现实检查数据中有效地识别丢失的POI类别。为此，在本文中，我们提出了一种新的神经网络方法，通过整合双向全球非个人转换模式和用户的个人喜好来识别缺失的POI类别。具体而言，我们精致地设计了一个关注匹配的单元格，以模拟登记类别信息如何与他们的非个人转换模式和个人偏好匹配。最后，我们在两个现实世界数据集中评估我们的模型，与最先进的基线相比，这明确验证了其有效性。此外，我们的模型可以自然扩展，以解决具有竞争性能的下一个POI类别推荐和预测任务。
translated by 谷歌翻译
许多真实应用程序的预测任务需要在用户的事件序列中模拟多阶特征交互以获得更好的检测性能。然而，现有的流行解决方案通常遭受两个关键问题：1）仅关注特征交互并无法捕获序列影响;2）仅关注序列信息，但忽略每个事件的内部特征关系，因此无法提取更好的事件表示。在本文中，我们考虑使用用户的事件顺序捕获分层信息的两级结构：1）基于基于事件表示的学习有效特征交互;2）建模用户历史事件的序列表示。工业和公共数据集的实验结果清楚地表明，与最先进的基线相比，我们的模式实现了更好的性能。
translated by 谷歌翻译
域适应任务，如跨域情感分类的目标在于利用在目标域源域中现有数据标记和未标记的或标记的几个数据经由减少数据分布之间的偏移，以提高在目标域的性能。现有跨域情绪分类方法需要区分枢转，即，域共享情绪词语，和非枢转时，即，该特定域的情绪也就是说，对于优良的适应性能。在本文中，我们首先设计一个类别关注网络（CAN），然后提出一个名为CAN-CNN集成CAN和卷积神经网络（CNN）模型。在一方面，该模型的问候基点和非关键数据作为统一的类别属性的话，可以自动捕捉他们提高域自适应性能;在另一方面，该模式使得在解释性试图了解转移类别属性词。具体地，我们的模型的优化目标具有三个不同的部分：1）监督分类损失; 2）类别特征权重的分布丢失; 3）的域不变性损失。最后，该模型在三个民情分析数据集进行评估，结果表明，CAN-CNN能优于其他各种基线的方法。
translated by 谷歌翻译
人类移动性数据从兴趣点累积（POI）Chee-Ins为用户行为理解提供了很大的机会。然而，实际移动数据中的数据质量问题（例如，地理位置信息丢失，虚幻的检查，数据稀疏）限制了现有的POI导向研究的有效性，例如POI推荐和位置预测，当应用于真实应用时。为此，在本文中，我们开发了一个名为BI-STDDP的模型，可以集成双向时空依赖和用户的动态偏好，以识别用户已经访问的缺失的POI登记入住，其中时间。具体地，我们首先利用POI的双向全局空间和局部时间信息来捕获复杂的依赖关系。然后，将与用户和POI信息组合的目标时间模式被馈送到多层网络中以捕获用户的动态偏好。此外，动态偏好被转换为与依赖关系相同的空间以形成最终模型。最后，在三个大规模的现实世界数据集中评估所提出的模型，结果表明，与最先进的方法相比，我们模型的显着改进。此外，值得注意的是，所提出的模型可以自然地扩展，以解决具有竞争性表现的POI推荐和位置预测任务。
translated by 谷歌翻译